ولما بلغ مالك ولاية ابن غانم سرّ بذلك . وقال لأصحابه : أعلمتم أن الفتى الرعيني الذي كان يأتي إلينا قد استقضي على إفريقية . وكان ابن غانم - أيام قضائه - يرسل مع صديقه أبي عثمان حاتم بن عثمان المعافري إلى مالك يسترشده فيما ينزل به من معضلات القضايا فيأخذ له عليها الأجوبة ، فكان ابن غانم يكتب إلى ابن كنانة ليسأل له مالكا عن الأحكام . ويجيبه ابن كنانة عن ذلك بواسطة الرسول المتقدم ، كما كان يكتب أيضا إلى القاضي أبي يوسف ببغداد فيجيبه . ولم يزل الأمر يترقّى بابن غانم في الرفعة والشهرة بحسن السيرة في أحكامه إلى أن تولّى إبراهيم بن الأغلب إمارة إفريقية سنة 184 ه فأقره في منصبه ، وكان من إكرام الخليفة هارون الرشيد إليه أنه كتب إلى ابن الأغلب كتابا يقول : واعلم أني لا أفكّ لك رسالة حتى يكون كتاب ابن غانم معها . فكان إبراهيم أكثر الناس مداراة لقاضيه . وتعظيما لقدره . ومن عادة ابن غانم في قضائه أنه إذا جلس للحكم قدم إليه الخصوم بقطع من الرق مكتوب فيها أسماء الخصماء ، فقعد يوما للخصوم وقدموا إليه رقوقهم فدعا بها فإذا في رق منها ( نخاسي البغال ) فدعاهم وسألهم عن قضيتهم ، قالوا : اشترى منا أبو هارون موسى مولى إبراهيم بن الأغلب وصاحب أمره بغالا بخمسمائة دينار ولم يدفع إلينا شيئا ، فضم ابن غانم ديوانه وقصد الأمير - وكان قد أباح الدخول إليه في كلّ وقت - فقال له ابن الأغلب : ما حاجة القاضي ؟ فذكر له أمر المتظلمين من تابعه أبي هارون ، فأحضره ابن الأغلب وسأله عما ذكر القاضي ، فأقرّ بالشراء وقال : إنما أخّرت دفع الثمن إلى أن يأتي خراج قسطيلية فإذا جاء دفعت إليهم الثمن . فقال ابن غانم : لا أبرح حتى ينقد إليهم أموالهم . وروى ابن أبي زيد أن ابن غانم كان يلبس من الثياب أغلاها وأفخرها . ويجعل لخصومات النساء يوما معلوما من الأسبوع يجلس فيه للنظر بينهنّ ، فإذا كان ذلك اليوم يلبس الفرو الدني والثياب الخلقة ويزيل الحجّاب والكتّاب من بين يديه فإذا دخل عليه النساء صرف بصره إلى الأرض فلا يشك من لا يعرفه أنه أعمى . ومما يدلّ على تواضعه ما رواه المالكي بسنده ، قال : مرّ رباح بن يزيد